Motion prediction systems aim to capture the future behavior of traffic scenarios enabling autonomous vehicles to perform safe and efficient planning. The evolution of these scenarios is highly uncertain and depends on the interactions of agents with static and dynamic objects in the scene. GNN-based approaches have recently gained attention as they are well suited to naturally model these interactions. However, one of the main challenges that remains unexplored is how to address the complexity and opacity of these models in order to deal with the transparency requirements for autonomous driving systems, which includes aspects such as interpretability and explainability. In this work, we aim to improve the explainability of motion prediction systems by using different approaches. First, we propose a new Explainable Heterogeneous Graph-based Policy (XHGP) model based on an heterograph representation of the traffic scene and lane-graph traversals, which learns interaction behaviors using object-level and type-level attention. This learned attention provides information about the most important agents and interactions in the scene. Second, we explore this same idea with the explanations provided by GNNExplainer. Third, we apply counterfactual reasoning to provide explanations of selected individual scenarios by exploring the sensitivity of the trained model to changes made to the input data, i.e., masking some elements of the scene, modifying trajectories, and adding or removing dynamic agents. The explainability analysis provided in this paper is a first step towards more transparent and reliable motion prediction systems, important from the perspective of the user, developers and regulatory agencies. The code to reproduce this work is publicly available at https://github.com/sancarlim/Explainable-MP/tree/v1.1.
translated by 谷歌翻译
几乎没有射击的细分是一项具有挑战性的密集预测任务,它需要分割新的查询图像,仅给出一个小注释的支持集。因此,关键问题是设计一种方法,该方法可以从支持集中汇总详细信息,同时对外观和上下文的巨大变化进行稳健。为此,我们提出了基于密集的高斯过程(GP)回归的几种分割方法。鉴于支持集,我们密集的GP了解了从局部深层图像特征到掩模值的映射,能够捕获复杂的外观分布。此外,它提供了一种捕获不确定性的原则方法,这是CNN解码器获得的最终分割的另一种强大提示。我们进一步利用了我们方法的端到端学习能力,以学习GP的高维输出空间。我们的方法在Pascal-5 $^i $和Coco-20 $^i $ Benchmarks上设定了新的最新技术,在Coco-20 $^i $中获得了绝对的$+8.4 $ MIOU的绝对增益5杆设置。此外,在增加支撑设置大小时,我们的方法的分割质量会优雅地缩放,同时实现强大的跨数据库转移。代码和训练有素的模型可在\ url {https://github.com/joakimjohnander/dgpnet}上获得。
translated by 谷歌翻译
Nowadays, copy detection patterns (CDP) appear as a very promising anti-counterfeiting technology for physical object protection. However, the advent of deep learning as a powerful attacking tool has shown that the general authentication schemes are unable to compete and fail against such attacks. In this paper, we propose a new mathematical model of printing-imaging channel for the authentication of CDP together with a new detection scheme based on it. The results show that even deep learning created copy fakes unknown at the training stage can be reliably authenticated based on the proposed approach and using only digital references of CDP during authentication.
translated by 谷歌翻译
在游戏中,就像在其他许多领域一样,设计验证和测试是一个巨大的挑战,因为系统的大小和手动测试变得不可行。本文提出了一种新方法来自动游戏验证和测试。我们的方法利用了数据驱动的模仿学习技术,这几乎不需要精力和时间,并且对机器学习或编程不了解,设计师可以使用该技术有效地训练游戏测试剂。我们通过与行业专家的用户研究一起研究了方法的有效性。调查结果表明,我们的方法确实是一种有效的游戏验证方法,并且数据驱动的编程将是减少努力和提高现代游戏测试质量的有用帮助。该调查还突出了一些开放挑战。在最新文献的帮助下,我们分析了确定的挑战,并提出了适合支持和最大化我们方法实用性的未来研究方向。
translated by 谷歌翻译
没有全面的指标来描述多对象跟踪(MOT)序列的复杂性。缺乏指标可降低解释性,使数据集的比较变得复杂,并将跟踪器绩效的对话降低到排行榜位置的问题。作为一种补救措施,我们介绍了新型的MOT数据集复杂度度量(MOTCOM),该度量是由MOT中的关键问题启发的三个子计量学的组合:闭塞,运动不稳定和视觉相似性。MOTCOM的见解可以开放有关跟踪器性能的细微讨论,并可能导致对鲜为人知的数据集或旨在解决子问题的新颖贡献的更广泛认可。我们在综合MOT17,MOT20和Motsynth数据集上评估了MOTCOM,并表明MOTCOM在描述与传统密度和轨道数量相比描述MOT序列的复杂性要好得多。项目页面https://vap.aau.dk/motcom
translated by 谷歌翻译
复制检测模式(CDP)是一项有吸引力的技术,可让制造商捍卫其产品免受伪造。CDP保护机制背后的主要假设是,由于数据处理不平等,无法复制或克隆工业打印机上的最小符号大小(1x1)的代码。但是,以前的作品表明,基于机器的攻击可以产生高质量的假货,从而基于传统的基于功能的身份验证系统的身份验证准确性降低。虽然深度学习(DL)可以用作身份验证系统的一部分,但据我们所知,以前的作品都没有研究基于DL的身份验证系统,反对基于ML的攻击具有1x1符号的CDP攻击尺寸。在这项工作中,我们研究了假设有监督学习(SL)设置的表现。
translated by 谷歌翻译
尽管受到监督的深度学习彻底改变了语音和音频处理,但它必须为个人任务和应用程序方案建立专业模型。同样,很难将其应用于仅可用标记数据的方言和语言。自我监督的代表学习方法承诺一个单一的通用模型,该模型将使各种各样的任务和领域受益。这种方法已显示出在自然语言处理和计算机视觉域中的成功,在减少许多下游场景所需的标签数量的同时,达到了新的性能水平。语音表示学习在三个主要类别中也经历了类似的进展:生成,对比和预测方法。其他方法依赖于多模式数据,用于预训练,将文本或视觉数据流与语音混合。尽管自我监督的语音表示仍然是一个新生的研究领域,但它与用零词汇资源的声学单词嵌入和学习密切相关,这两种资源已经进行了多年的积极研究。这篇评论介绍了自我监督的语音表示学习及其与其他研究领域的联系的方法。由于许多当前的方法仅集中在自动语音识别作为下游任务上,因此我们回顾了基准测试的最新努力,以将应用程序扩展到语音识别之外。
translated by 谷歌翻译
在各种科学和临床环境中,快速无创探测空间变化的非相关事件(例如人类头骨下方的脑血流)是一项必不可少的任务。所使用的主要光学技术之一是弥漫性相关光谱(DC),其经典实现使用单个或几个单光子检测器,导致空间定位精度较差,时间分辨率相对较低。 Here, we propose a technique termed Classifying Rapid decorrelation Events via Parallelized single photon dEtection (CREPE)}, a new form of DCS that can probe and classify different decorrelating movements hidden underneath turbid volume with high sensitivity using parallelized speckle detection from a $32\times32 $像素SPAD阵列。我们通过对隐藏在5mm组织样的幻影下的不同时空 - 偏置模式进行分类来评估我们的设置,该模式由快速反相关的动态散射介质制成。十二个多模式纤维用于从组织幻影表面的不同位置收集散射光。为了验证我们的设置,我们通过在Multi-Kilo-Hertz速率下调制的数字微龙器设备(DMD)以及含有流动流体的容器幻影。除了具有胜过经典无监督学习方法的深层对比学习算法外,我们证明我们的方法可以准确地检测和分类浊度散射介质下的不同瞬态去相关事件(发生在0.1-0.4s中),而无需任何数据标记。这有可能应用于非侵入性的深层组织运动模式,例如在紧凑和静态检测探针内以多赫兹速率识别正常或异常的脑血流事件。
translated by 谷歌翻译
在组织表征和癌症诊断中,多式联运成像已成为一种强大的技术。由于计算进步,可以利用大型数据集来改善病理中的诊断和发现模式。但是,这需要高效且可扩展的图像检索方法。跨型号图像检索特别要求,因为在不同方式捕获的相同内容的图像可以显示很少的常见信息。我们提出了一种基于内容的图像检索系统(CBIR),用于反向(子)图像搜索,以给定个模态中的显微镜图像给出给定由不同的模态捕获的相应图像,其中图像不对齐并且仅共享少量结构。我们建议将深度学习结合生成嵌入共同空间中的模型的陈述,具有经典,快速,强大的特征提取器(Sift,Surf),以创建一个用于有效可靠的检索的文字模型。我们独立的自主方法显示了有希望的明菲尔德和二次谐波产生显微镜图像的公共数据集。我们获得75.4%和83.6%的前10名检索成功,以便在一个或另一个方向中检索。我们所提出的方法显着优于原始多模式(子)图像的直接检索,以及它们对相应的生成对抗网络(GaN)的图像到图像转换。我们确定所提出的方法与最近的子图像检索工具包,GAN的图像到图像翻译和用于跨模型图像检索的下游任务的学习特征提取器更好。我们突出了后一种方法的缺点,并遵守CBIR管道中学习陈述和特征提取器的体征和不变性属性的重要性。代码将在github.com/mida-group上获得。
translated by 谷歌翻译
通过首先通过自动语音识别(ASR)转换话语,然后将输出馈送到基于文本的模型,通常通过转录语言理解(SLU)任务来解决。自我监督代表学习的最新进展旨在改善ASR组件。我们调查了是否对演讲的代表性学习已经成熟,以取代SLU中的ASR。我们将学位语音特征与Wav2Vec 2.0,最先进的ASR成绩单以及基于新型语音的名称实体识别任务的输入,是真实世界紧急呼叫和两个基于语音的命名实体识别任务的输入。现有的SLU基准。我们表明,学习的语音功能优于三种分类任务的ASR成绩单。对于机器翻译,ASR成绩单仍然是更好的选择。我们突出了Wav2VEC 2.0表示的内在稳健性,以失控的单词作为更好的性能的关键。
translated by 谷歌翻译